使用说明 分对话系统和机器翻译两部分 data为数据集 model为训练的模型 translation文件夹下又分了Seq2Seq和transformer两个模型，大家按需查看使用 以transformer文件夹为例，attention.py主要实现了注意力机制，transformer.py实现了transformer的主体架构，data.py为数据的预处理以及生成了词典、dataset、dataloader，readdata.py运行可以查看数据形状，train.py为训练模型，predict.py为预测，config.py为一些参数的定义。 transformer机器翻译的模型是用cuda:1训练的，如果要使用可能需要修改代码 如：gpu->cpu，即在CPU上使用 torch.load('trans_encoder.mdl', map_location= lambda storage, loc: storage) torch.load('trans_decoder.mdl', map_location= lambda storage, loc: storage)

cs224n 2018版作业包括解析，附带作业lecture和解答。

https://shao12138.blog.csdn.net/article/details/87993334

现代汉语大词典 转为excel 可以作为数据集使用 可用于优化nlp模型 现代汉语大词典现代汉语大词典现代汉语大词典现代汉语大词典现代汉语大词典现代汉语大词典

结构化感知器进行中文切词，自然语言处理

自然语言处理相关的分词数据

nlp之中机器翻译的最新论文的代码复现nlp-master.zip

长短期记忆网络（Long Short-Term Memory, LSTM）是一种递归神经网络（Recurrent Neural Network, RNN）的变体，专门用于处理和预测序列数据。它通过引入门控机制和记忆细胞，能够更好地捕捉序列中的长期依赖关系，并解决传统RNN中的梯度消失或爆炸问题。

本项目使用 GPT2-Chinese 的模型将wiki中文的数据导入模型训练了通用模型。 将GPT2-chitchat的对话任务稍作修改来适用于中文摘要任务。 将通用模型的权重应用在摘要问题上进行进一步训练的。 GPT2-Chinese 参考：https://github.com/Morizeyao/GPT2-Chinese GPT2-chitchat参考：https://link.zhihu.com/?target=https%3A//github.com/yangjianxin1/GPT2-chitchat 项目工作流程详见：https://zhuanlan.zhihu.com/p/113869509 本项目为GPT2-chitchat稍作修改的内容，在此也感谢大佬的分享。 由于NLPCC的摘要数据为新闻语料，涉及话题和内容较多，应用在垂直领域下效果会好一些。

清华大学李军中文褒贬义词典：该资源共包含两个文件，一个为褒义一个为贬义。 该词典共包含褒义词5568个和贬义词4470个。